O surgimento e a rápida evolução das tecnologias de inteligência artificial representam grandes desafios para o poder público e para a sociedade brasileira como um todo. As Defensorias Públicas, que desempenham um papel fundamental de acolhimento das demandas por justiça da população hipossuficiente no Brasil, serão profundamente afetadas por esse processo, assim como todas as organizações públicas e privadas.

É comum que, ao realizar o atendimento para peticionamento, defensores utilizem modelos pré-prontos de petição inicial e contestação. Parte desse trabalho, por exemplo, pode ser executado e otimizado pelo uso de sistemas de Inteligência Artificial (IA) já com o atual estágio da tecnologia, especialmente ao tratar de tarefas repetitivas e automatizáveis.

No último ano, o processo de transformação digital acelerou ainda mais e assumiu outra dimensão a partir do desenvolvimento e implantação da Inteligência Artificial Generativa (IAG), que promete impactar quase todos os setores da sociedade em ritmo exponencial. A IAG é uma tecnologia que, em seu uso mais conhecido, produz conteúdo em resposta a perguntas (ou prompts, em inglês) criadas pelos usuários. Esses sistemas são capazes de produzir conteúdos ?novos? em formato de texto, imagem ou vídeo a partir da análise e aprendizagem de um enorme amontoado de dados processados, que frequentemente incluem grandes varreduras pela Internet.

De acordo com relatório recente da Unesco, em um curto período de tempo, a Inteligência Artificial Generativa redefiniu a discussão em torno das tecnologias digitais e seus impactos sobre a sociedade. Muitas pessoas têm se familiarizado com inteligências artificiais generativas mais conhecidas, como ChatGPT, Claude, Bard, LlaMA, MidJourney, Dall-E, dentre outros. No entanto, há um amplo espectro de soluções que variam de modelos desenvolvidos por grandes companhias de tecnologia até modelos abertos construídos coletivamente.

A esse respeito, a Academia Brasileira de Ciências destaca que:

?O futuro da sociedade brasileira será moldado pelas escolhas que o governo e a própria sociedade fizerem em relação à IA. O senso de urgência em relação aos investimentos em IA e a formulação de políticas públicas emergem como prioridades cruciais em todo o mundo, abrangendo países desenvolvidos e em desenvolvimento.? (Academia Brasileira de Ciências, Recomendações para o avanço da inteligência artificial no Brasil, nov. 2023, p. 18)

O momento histórico que vivenciamos impõe à Defensoria Pública desafios de duas dimensões. De um lado, há grande expectativa sobre os impactos que a implementação de sistemas de inteligência artificial podem gerar na sociedade brasileira, com possíveis repercussões no mercado de trabalho - substituição da mão-de-obra humana e crescimento do desemprego e da pobreza/miséria -, nas tecnologias de controle social aplicadas à segurança pública e política criminal - ampliação do Estado de vigilância - e, ainda, em novas dinâmicas de violação de direitos humanos.

Por outro lado, as capacidades observadas em sistemas de inteligência artificial generativa chamam a atenção quando vislumbramos as diversas possibilidades de utilização para a qualificação da atuação das Defensorias Públicas, com potencial de contribuir sobremaneira para a ampliação do acesso à justiça. Assim, diante da nova realidade, caberá às instituições a quem a Constituição Federal atribuiu a defesa das pessoas vulneráveis a adoção de uma postura de vigilância e atuação incansável na defesa dos direitos humanos em período tormentoso de profunda transformação tecnológica, ao mesmo tempo em que conduz, internamente em suas instituições, um processo intencional de implantação de Inteligência Artificial de forma responsável, transparente e ética, em diálogo e colaboração com a sociedade e com a comunidade técnico-científica do país.

Nesse sentido, a presente consulta pública busca ampliar a discussão sobre os impactos sociais e humanos da inteligência artificial - seja a partir de possíveis ferramentas a serem utilizadas pela Defensoria, seja em relação às ferramentas utilizadas na sociedade como um todo, orientando e qualificando a atuação dos órgãos no exercício de sua missão institucional em cenário de transformação tecnológica com repercussões em direitos humanos.

Impactos sociais e humanos da Inteligência Artificial

A primeira dimensão de análise diz respeito às possíveis consequências sociais, positivas e negativas, que podem ser esperadas a partir da implementação de sistemas de inteligência artificial generativa no país, tanto na iniciativa privada quanto no serviço público.

Entre as possíveis aplicações e benefícios da inteligência artificial nos próximos anos estão o aumento da eficiência e a otimização dos processos; o acesso a assistentes pessoais que possam automatizar diversas tarefas no âmbito profissional e privado; a aceleração da pesquisa e da inovação científica; e a disponibilidade de sistemas inteligentes a baixo custo e escalável para diversas dimensões da vida social, como educação, saúde, cultura, meio ambiente e acesso à justiça.

Porém, considerando a missão de atuar em defesa dos necessitados - justamente aqueles que se encontram mais vulneráveis em períodos de turbulência -, a Defensoria deve dedicar grande atenção não apenas aos potenciais benefícios, mas também aos riscos e desafios sociais e humanos associados à inteligência artificial.

A sociedade brasileira convive com cenário marcado por profunda dependência tecnológica no campo digital, com consumo intenso de produtos e serviços ofertados por empresas estrangeiras, situação agravada nos últimos 15 anos com o surgimento e popularização das redes sociais e outras plataformas digitais de grande dimensão. Os grandes modelos de linguagem e outras tecnologias emergentes sinalizam para um aprofundamento sem precedentes deste cenário, em que podemos nos ver importando como serviço a própria inteligência utilizada para desempenho de tarefas cognitivas que são motor da nossa economia e de serviços essenciais e sensíveis. Esse contexto gera preocupações em relação ao desenvolvimento econômico, social e tecnológico do país, especialmente quanto à sua soberania digital.

Da mesma forma, o avanço da inteligência artificial e sua rápida incorporação pela iniciativa privada e sociedade pode vir a resultar em impacto de dimensão ainda incerta no mercado de trabalho, havendo expectativa de progressiva substituição de mão-de-obra humana por sistemas de IA em tarefas cognitivas, resultando em maior desemprego. O tema merece maior estudo considerando o estado da arte da tecnologia e as tendências de curto e médio prazo, levando em consideração os direitos fundamentais relativos ao trabalho, especialmente a proteção em face da automação prevista na Constituição.

Outras preocupações dizem respeito ao potencial de manipulação humana por sistemas de IA generativa utilizados para influenciar comportamentos e opiniões, em áreas como eleição e consumo; ao uso abusivo de dados pessoais e à ampliação da desinformação e discursos de ódio; aos prejuízos à diversidade e pluralidade de vozes a partir da adoção de modelos treinados em bases de dados estrangeiras, em detrimento do conhecimento e dos saberes nacionais (que expressam nossa diversidade cultural e registros históricos); ao recrudescimento do Estado de vigilância a partir da adoção acrítica e indiscriminada da IA em áreas de segurança pública, investigação criminal, monitoração eletrônica e justiça penal; e ao alinhamento dos sistemas de IA generativa, inclusive em termos de direitos humanos e viés e racismo algorítmico.

PERGUNTA 1. Quais riscos e desafios a sociedade brasileira enfrenta no contexto atual de rápida evolução das tecnologias de inteligência artificial? Como as Defensorias Públicas podem se preparar para atuar em defesa dos direitos humanos e das pessoas vulneráveis diante desse cenário?

Inteligência artificial na Defensoria Pública

São diversas as soluções de inteligência artificial que podem contribuir para a qualificação e eficiência do trabalho da Defensoria Pública, com resultados positivos para o acesso à justiça. Ao longo dos próximos anos, sistemas construídos em cima de grandes modelos de linguagem e devidamente alinhados podem contribuir para a análise e sumarização de processos judiciais, elaboração de minutas de peças processuais e mesmo servir como canal complementar para interação direta com os cidadãos por texto, vídeo ou áudio, fornecendo orientações em linguagem simples (ampliando o acesso à justiça) e coletando e tratando documentos e dados de modo a otimizar a atuação institucional. Outras aplicações podem ser construídas para tarefas específicas utilizando modelos de linguagem menores, treinados em bases de dados próprias das instituições ou compartilhadas entre os órgãos (respeitando os parâmetros da Lei Geral de Proteção de Dados Pessoais), bem como adotando-se técnicas de treinamento supervisionado ou outras modalidades de inteligência artificial.

Em todo caso, a inteligência artificial deve estar orientada a potencializar a atuação de defensores e defensoras, reduzindo progressivamente o tempo gasto em tarefas mais burocráticas ou repetitivas, ampliando a produtividade e permitindo o enfoque em tarefas que exijam a participação humana. Assim, para além de possibilitar que mais pessoas possam acessar o serviço da Defensoria, mitigando os efeitos socialmente danosos da estrutura insuficiente dos órgãos, a tecnologia poderá permitir que defensores e servidores gastem mais tempo com atuação estratégica e atividades como acolhimento dos usuários, inspeção de espaços de privação de liberdade, participação em audiências e espaços de participação popular, articulação com comunidades e instituições, entre outras.

Em 2022, a China unificou o uso de IA no sistema de justiça que, de acordo com as autoridades, é capaz de buscar referências nos casos da corte, recomendar leis, rascunhar documentos legais e alterar possíveis erros humanos percebidos. Boa parte dos benefícios mencionados diz respeito à eficiência, com a economia de tempo e de recursos financeiros, havendo também importantes críticas ao processo de implantação da tecnologia.

Entre os cuidados que devem ser considerados durante a adoção dos sistemas está a segurança, a proteção de dados e a confiabilidade dos outputs dos modelos, devendo a forma de utilização dos sistemas estar alinhada com o estado da arte da tecnologia adotada, assegurando a supervisão humana de todas as etapas em que for necessária, sendo fundamental a realização de ações de qualificação continuada de defensores e servidores para a melhor utilização desses sistemas e para monitoramento das métricas de performance dos modelos utilizados, podendo ser desenvolvidas pelos centros de estudos, fundações e escolas das Defensorias Públicas.

É importante destacar que definições aparentemente técnicas, geralmente delegadas às áreas de tecnologia da informação, como a escolha dos modelos de linguagem a serem adotados, as bases de dados utilizadas para treinamento e os mecanismos de pré-treino e alinhamento dos sistemas, terão grandes implicações no conteúdo dos textos gerados e, portanto, na própria atuação das instituições. Assim, esses aspectos devem ser analisados com grande atenção, a partir de abordagem interdisciplinar e em diálogo com a sociedade e comunidade técnico-científica.

PERGUNTA 2. Quais soluções baseadas em inteligência artificial podem contribuir para a missão institucional da Defensoria Pública e para a ampliação e qualificação do acesso à justiça? Que critérios devem ser utilizados para priorização dos sistemas a serem adotados ou desenvolvidos?

PERGUNTA 3. Quais riscos, desafios e impactos sistêmicos devem ser considerados na implementação de sistemas de inteligência artificial pelas Defensorias Públicas? Que estratégias podem ser adotadas para eliminação ou mitigação desses riscos?

PERGUNTA 4. Quais aspectos técnicos relacionados a sistemas de inteligência artificial devem ser objeto de análise e deliberação estratégica mais minuciosas, considerando as implicações políticas e institucionais? Que elementos devem ser considerados nos processos decisórios?

Estratégia de implantação da Inteligência Artificial

As Defensorias Públicas do Brasil têm a intenção de desenvolver um processo de implantação de inteligência artificial transparente, participativo e colaborativo, ao mesmo tempo em que buscam agilidade na adoção de sistemas que possam contribuir para a qualidade do serviço prestado à população.

Considerando os desafios técnicos e políticos existentes, objetiva-se desenvolver uma estratégia unificada abarcando todos os órgãos do país - Defensorias Públicas dos Estados, do Distrito Federal e da União -, reduzindo os riscos associados à adoção acrítica das ferramentas e assegurando o alinhamento da inteligência artificial com a missão institucional dos órgãos.

A partir de interface de programação das aplicações (APIs), as soluções desenvolvidas ou adotadas poderão servir a todas as Defensorias, ainda que utilizem, internamente, sistemas variados para gestão de seus processos ou atividades - contribuindo assim para mitigar as diferenças de estrutura entre os órgãos, de modo que todos possam se beneficiar igualmente da tecnologia.

As bases de dados utilizadas no treinamento dos sistemas são cruciais para a sua qualidade, representando um desafio conjunto de todos os órgãos. A princípio, entende-se como etapa necessária da estratégia a criação de repositório unificado de bases de dados a serem utilizadas em treino e validação dos modelos. As bases de dados podem conter não apenas conteúdos de processos judiciais, mas também estudos e pesquisas empíricas, materiais teóricos no campo do Direito, Ciência Política, Sociologia, Criminologia, entre outros conteúdos a serem identificados, privilegiando os conteúdos em língua portuguesa.

Como o treinamento de modelos pode, eventualmente, exigir infraestrutura significativa de computação, a implementação conjunta da estratégia de inteligência artificial pode facilitar ainda o acesso a esses recursos, a partir de parcerias que as Defensorias podem estabelecer com órgãos públicos nos Estados, Distrito Federal e/ou União.

Um dos desafios a serem considerados está na proteção de dados, assegurando os direitos legais e constitucionais de usuários e usuárias das Defensorias e, ao mesmo tempo, resguardando a soberania dos órgãos sobre as suas bases de dados - bens preciosos em tempos de big data e inteligência artificial -, de modo que sejam utilizadas para a promoção e proteção de direitos de pessoas e grupos vulneráveis e não para fins mercadológicos.

Ao mesmo tempo, a transparência aparece como princípio fundamental norteador da estratégia em formulação. Além de impulsionar a presente consulta pública, em que as Defensorias Públicas do Brasil apresentam de forma translúcida suas intenções e buscam a promoção de diálogo aberto com a sociedade no tema, a transparência algorítmica também deve ser aplicada às soluções a serem adotadas ou desenvolvidas.

Tratando-se de tecnologias extremamente novas, os sistemas de IA generativa devem também ser transparentes e buscar constante aprimoramento em termos de segurança e confiabilidade, reduzindo progressivamente a quantidade de erros e os riscos de sua utilização para finalidades danosas não previstas. Clareza nas informações sobre os sistemas, inclusive quanto a seus limites e modo de funcionamento, e realização de processos de qualificação de defensores e servidores serão essenciais para que as ferramentas sejam utilizadas de forma adequada, assegurando a supervisão humana de forma condizente com o estado da arte das tecnologias.

Igualmente, a promoção e proteção de direitos humanos deve estar no cerne da estratégia de implantação de IA das Defensorias Públicas do Brasil. É de amplo conhecimento que, treinados com dados que estão disponíveis na Internet, os sistemas de IA comumente reproduzem preconceitos e vieses difundidos nas diversas sociedades do mundo, podendo assim ser reprodutores de violações de direitos humanos, sendo o racismo algorítmico uma das características mais criticadas de muitas dessas ferramentas.

A participação da sociedade é fundamental para eliminar ou mitigar esses e outros riscos, podendo ser realizada a partir de iniciativas como essa consulta pública ou outros espaços de escuta e diálogo, a exemplo de audiências públicas, podendo ser considerado para tanto o protagonismo do Colégio de Ouvidores das Defensorias Públicas do Brasil. Indo além, é de interesse das Defensorias estabelecer dinâmicas de colaboração efetiva com a comunidade técnico-científica durante todo o processo, estabelecendo parcerias com Instituições de Ensino Superior, organizações da sociedade civil e outros atores estratégicos.

O olhar crítico e tecnicamente apurado obtido a partir de processos participativos e colaborativos será fundamental para qualificar processos decisórios estratégicos previstos ao longo da formulação e execução da estratégia. Há intenso debate na sociedade acerca da conveniência e oportunidade de adoção de modelos de linguagem menores, treinados para tarefas específicas, ou a adoção dos modelos de linguagem generalistas treinados com imensos volumes de dados para tarefas diversas (?one-size-fits-all?), discussão que envolve ainda o desenvolvimento de soluções a partir de modelos existentes em código-aberto ou o estabelecimento de parcerias com empresas que mantém modelos proprietários.

Por fim, um dos primeiros desafios das Defensorias Públicas do Brasil no desenvolvimento da iniciativa diz respeito à própria governança de sua estratégia de inteligência artificial, considerando as distintas realidades dos órgãos e suas experiências até aqui no campo da inteligência artificial. Atualmente, o CONDEGE já dispõe de Comissão de Tecnologia instituída e operando, formada por defensores e servidores das Defensorias de todo o país, que tem entre suas atribuições a condução de temas relacionados à inteligência artificial, havendo também discussão sobre a conveniência de se criar uma comissão específica para inteligência artificial, considerando a centralidade e caráter interdisciplinar do tema. Também se vislumbra a criação de Comitê Executivo para implementação da Estratégia de Inteligência Artificial, responsável pela gestão colaborativa dos projetos, com formato ainda a ser definido.

PERGUNTA 5. Quais aspectos relacionados à proteção de dados e transparência devem ser considerados pelas Defensorias Públicas na formulação e implementação de sua estratégia de inteligência artificial? Como esses aspectos podem ser articulados e mobilizados para assegurar a proteção de dados e transparência, inclusive a transparência algorítmica?

PERGUNTA 6. Quais medidas devem ser adotadas durante todo o ciclo dos projetos para garantir a segurança dos sistemas de inteligência artificial?  Como promover a maior confiabilidade das soluções a serem adotadas e assegurar que seu uso seja adequado e condizente com as capacidades e limitações dos sistemas, inclusive em relação à supervisão humana e monitoramento das métricas de performance dos modelos utilizados?

PERGUNTA 7. Como sistemas de inteligência artificial podem promover ou agravar violações de direitos humanos, considerando, inclusive, o racismo algorítmico e outros vieses potenciais da tecnologia? Quais medidas podem ser adotadas nas diferentes etapas dos projetos para assegurar que as soluções de inteligência artificial não reproduzam preconceitos e, ao contrário, possam contribuir para a promoção dos direitos humanos a partir da atuação da Defensoria Pública?

PERGUNTA 8. Quais cuidados devem ser adotados para a construção de repositório unificado de bases de dados voltados ao treinamento e alinhamento de modelos, de modo a resguardar a proteção de dados pessoais e a soberania dos órgãos em relação a suas bases e outros aspectos relevantes? Que dados devem constar no repositório e que métodos podem ser adotados para proporcionar melhores soluções de inteligência artificial, alinhadas com a missão institucional da Defensoria Pública?

PERGUNTA 9. Quais aspectos devem ser considerados para a decisão sobre modelos de inteligência artificial a serem adotados, em termos de tamanho, soluções proprietárias ou de código aberto, linguagens, idioma, entre outros?

PERGUNTA 10. Quais aspectos, métodos e cuidados devem ser considerados para o fine-tuning dos modelos?

PERGUNTA 11. Quais parcerias podem ser estabelecidas com órgãos públicos estaduais, distritais e federais para o desenvolvimento dos projetos, inclusive em relação a etapas que possam exigir grande capacidade de computação? Como essas parcerias podem ser materializadas?

PERGUNTA 12. Como assegurar a ampla participação social e a colaboração com comunidade técnico-científica, especialmente com as Instituições de Ensino Superior, para o desenvolvimento da estratégia de inteligência artificial das Defensorias Públicas? Que benefícios podem ser obtidos a partir dessas parcerias? Quais arranjos podem ser utilizados para a operacionalização das colaborações?

PERGUNTA 13. Que elementos devem ser considerados para a promoção da educação e qualificação de defensores e demais servidores no tema da inteligência artificial, pelos centros de estudo, fundações e escolas das Defensorias Públicas e outros caminhos complementares para formação e capacitação continuada?

PERGUNTA 14. Quais recomendações podem ser feitas para a melhor governança da estratégia unificada das Defensorias Públicas para adoção de soluções de inteligência artificial?

PERGUNTA 15. Há outras sugestões ou comentários a serem feitos, relacionados a aspectos não explorados no texto e nas perguntas, que possam contribuir para a formulação e implementação da estratégia de inteligência artificial das Defensorias Públicas?